『LIFE3.0――人工知能時代に人間であるということ』(マックス・テグマーク, 水谷淳 著)より
「超知能AIの目標を私たちの目標と合致させる方法を見出すのは、重要でもあり困難」
進化した知能が人間という生命体から離れて独自に振る舞う。
「AI研究者は従来から、知能は血や肉や炭素原子とは関係なく、結局のところ情報と計算に行き着くと考えてきた。ということは、機械がいつの日か少なくとも我々と同じくらいの知能を持つことなどありえないと考える理由は、そもそも存在しないのだ。」
ルパン三世の「ルパンVS複製人間」マモーを連想した。
この本、AIの進化を生物の進化から始まって書いてくれてるのが解りやすい。
AIの安全性に関する議論